#efficient training - AI Papers Daily

Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers

位置至关重要：基于剖析指导的逐层 RoPE 分配

🧭 高效 Transformer 位置编码设计

用逐层剖析剖面在固定预算下分配 RoPE 维度，提升语言模型验证损失并支持 MLA 高效部署

📌 工作参考价值（4 点）

在电商/广告场景中训练或微调 LLM 赋能的召回、query 改写、语义 ID 生成模型时，先用小规模代理模型对每一层做“移除/偏移 RoPE”的 Coverage/Phase-off 探查，提前得到各层位置信息需求剖面；然后按预算给高层/低层分配不同 rotary dimension，减少 RoPE 计算和缓存，不损失效果。
利用 normalized-depth mapping 把小型模型的逐层 RoPE 配置迁移到大模型，可在大模型正式预训练/继续训练前完成结构搜索，降低试错成本；对需要从零预训练轻量级领域 LLM 做推荐任务时尤其实用。
若采用 MLA / 多头潜在注意力做高效推理，可按层物理分配 rotary 维度，而不是所有层全维度旋转；按剖析结果把 rotary 集中在少数关键层，可获得质量、存储、计算之间的更好 trade-off，适合边端或高 QPS 推荐服务。
将 phase-off / coverage intervention 作为诊断工具纳入模型迭代流程，用于判断模型是否过度依赖某些层的位置信息，指导领域适配时冻结/裁剪/蒸馏策略。

Training | 2026-10-29 | stat.ML | score 6/10

ZGCM-1：面向数学与智能体搜索的全开源高效基础模型

🧭 高效训练 · Agentic Search ★ 深度解读

Zhongguancun Academy · Zhongguancun Institute of Artificial Intelligence

全开源 7B 模型，靠混合注意力、FP8/Muon 与 MDP 中训，在数学和 Agentic Search 上逼近大模型

📌 工作参考价值（5 点）

混合注意力 5:1 SWA/global 可在 256K 上下文将 KV cache 降 6.4x、吞吐提升 3.94x：适合电商多轮对话、长用户行为序列或长文档检索场景，用 7B 级模型支撑长上下文 Agent 而不过度消耗显存。
把交互轨迹改写为 MDP 状态-动作对做稠密监督，比整段模仿学习更利于训练 Agent 在搜索/推荐中做局部决策（如何时调用搜索、扩展 query、停止迭代）；可直接复用到电商导购 Agent 的工具调用数据构造。
FP8+Muon+TWEO 组合实现约 4.2x pre-training time-to-loss，内部迭代模型可行；尤其 TWEO 抑制激活 outlier 是 FP8 稳定的关键，可在训练栈中尝试。
SFT 数据质量裁剪：约剪掉一半候选，六基准均值 67.78→68.83，证明高质量数据胜于堆量；对电商话术/导购数据可借鉴严格去污和分层过滤。
Agent 数据与 general 数据联合训练优于先 general 后 agentic 或只 agentic：对话式购物助手不应只用领域轨迹，需保留通用指令遵循能力。

Training | 2026-09-10 | HF Daily | score 8/10